AI Papers Daily

#weight interpolation

2 篇

AlphaWiSE: Adaptive Weight Interpolation for Continual Multimodal Representation Learning

AlphaWiSE：面向持续多模态表征学习的自适应权重插值

🧭 多模态持续学习·权重插值

University of Illinois Urbana-Champaign · Google DeepMind

提出后处理权重插值方法 AlphaWiSE，为每个参数张量学习一个标量系数组合新旧检查点，实现多模态持续学习的灵活稳定性-可塑性权衡

📌 工作参考价值（4 点）

• 多模态推荐系统持续新增领域数据时，可直接使用 AlphaWiSE 在旧任务稳定检查点和新任务适应检查点间插值，无需重新训练，避免全方向遗忘
• 利用小样本记忆（exemplar memory）自适应学习每个参数张量的插值系数（单个标量），参数量极小，可快速部署，适合线上频繁更新的场景
• 插值后的模型与原检查点架构完全一致，推理零额外开销，适合对延迟敏感的电商搜索/推荐服务
• 该方法解耦了不同检索方向（如文搜图、图搜文、音搜图）的稳定性需求，可针对不同方向定制插值系数，提升整体多模态搜索质量

Multimodal | 2026-07-16 | cs.LG | score 6/10

continual learningweight interpolationmultimodal retrievalCLIPexemplar memoryaudio-image-text

Unlocking Speech-Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning

解锁语音-文本组合能力：无需指令微调的遵循指令语音语言模型

🧭 语音语言模型 · 权重组合跨模态迁移

University of California, Santa Barbara · MIT-IBM Computing Research Lab, IBM Research

仅通过一次语音预训练后与文本指令微调向量权重相加，零语音指令数据实现指令遵循语音模型

📌 工作参考价值（4 点）

• 多模态助手低成本构建：可将已有强大指令遵循能力的文本LLM快速扩展为语音助手，仅需一轮语音适配预训练，无需昂贵的大规模语音指令数据，适合电商语音搜索、客服等场景快速原型。
• 权重算术即插即用：方法本质是模型融合（基座+任务向量），工程实现极其简单，可直接复用现有文本LLM的训练成果，减少重复训练成本，为Agent系统增加语音交互通道提供新范式。
• 模态能力解耦升级：当文本LLM基座或指令微调版本迭代时，只需重新计算任务向量并与原有语音适配权重组合，实现语音能力的快速升级，适合迭代快速的业务场景。
• 可推广到其他模态：该组合策略不限于语音，可借鉴用于图像、视频等模态的指令遵循迁移，为统一多模态推荐交互（如语音搜索、图像评论理解）提供统一框架。

Multimodal | 2026-07-02 | cs.CL | score 7/10

speech language modelweight interpolationinstruction followingmodel mergingcross-modal transfer